Measuring User Success in Randomized Search Experiments: Interpreting Good Abandonment in Generative AI Search
生成式 AI 搜索随机实验中的用户成功度量：解读良好放弃
🧭 搜索随机实验 · 用户成功度量 ★ 深度解读
Microsoft · Simplex AI
提出 Session Success Rate (SSR)，用人类标注会话训练可解释模型区分点击与放弃中的成功/失败，在线实验灵敏度约为 Sessions per User 的 2.5 倍
📌 工作参考价值（4 点）
- 在电商/推荐场景不要单看点击/无点击：点击集合中有约 6.5% 失败，无点击集合中约 53.2% 是成功（论文样本）。因此应构建区分点击与放弃内部异质性的度量，而非直接把 CTR 当成功。
- SSR 的可解释决策树结构可以迁移：把 query/session 按 clicked/abandoned 分支，分别用下游互动时长、页面浏览/滚动深度、语义改写（struggling reformulation）等组合条件判断成功，避免长 dwell 被一概视为正向。
- 采用 human-labeled ground truth 做离线评估，报告中用 balanced accuracy 而非原始准确率，因为成功样本占多数；采样时对困难 session（多 query、移动端）过采样，线上按 inverse sampling weight 恢复人群率。
- 在线实验平台可借鉴 SSR 提高指标灵敏度：在约 4000 个生产实验中，SSR 的 binary sensitivity 是 Sessions per User 的 2.5 倍，可在固定流量预算下降低单实验流量、提高实验吞吐；但上线前要设置 coverage checks，当 treatment 改变页面/语义输入时 fallback。